第5講是COMP5511的一個關鍵轉折點。我們正從經典運算的確定性邏輯和早期監督式分類模型的確定性，轉向生成式AI的機率核心。在本節中，我們將探討為何現代AI模型輸出的不是「事實」，而是機率分佈，揭示讓大型語言模型（LLMs）寫詩和擴散模型從雜訊中繪圖的機制。
1. 典範轉移：從邏輯到機率
- 超越「如果-那麼」：從嚴格的規則轉向流暢的統計可能性。
- 確定性的終結：理解為何生成式AI的結果是非確定性的。
- 機率作為工具：「生成式AI時代」如何將不確定性視為一種特徵，而非需要修復的錯誤。
2. 創新的機率引擎
生成式AI依賴從高維機率空間進行採樣。無論是生成文字或圖像，模型都會駕馭不確定性來產生新穎的內容：
- 大型語言模型（LLMs）：預測下一個標記（token）時，並非單一選擇，而是作為一個可能性分佈。
- 擴散模型：從混亂的高斯雜訊。
- 採樣過程：如何利用隨機性來防止重複和「機器人般」的輸出。
3. 在不可預測世界中的代理
自主代理必須駕馭「開放世界」，其中每個動作都帶有未知風險和回報。
幻覺的權衡
純粹的確定性模型雖然安全，但缺乏原創性思維。透過擁抱不確定性，我們實現了創造力，但也引入了幻覺—的風險，即模型會自信地生成看似合理但錯誤的資訊。
概念採樣邏輯
1
定義函數生成回應（提示，溫度）：
2
計算機率分佈 對所有可能的下一個標記；
3
調整 分佈，基於溫度（越高＝更多樣， 越低＝更聚焦）；
4
選擇 使用加權隨機選擇；
5
重複 直到完成。
機率建模
現代AI透過統計學的視角看待世界，而非二元真理。